跳到主要内容
版本:Next

2. LKF And ADAM

[文献 RKEKF]

文章提出了一种 重组层扩展卡尔曼滤波(LKF) 优化器,旨在加速训练神经网络力场。LKF是全局扩展卡尔曼滤波(GKF)的改进版本,通过采用分割大层和聚集小层的策略来降低计算成本。该策略利用稀疏对角块矩阵逼近密集权重误差协方差矩阵,从而提高了计算效率。作者在13个常见体系上进行了数值实验,并与 ADAM 优化器进行了比较。实验结果表明,LKF 相对于 ADAM 收敛更快且精度稍高。此外,作者还从理论上证明了权值的更新是收敛的,从而克服了梯度爆炸问题。总体而言,LKF对权值初始化不敏感,对神经网络力场的训练具有较好的效果。

部分实验结果

拟合精度

proportion_time

在多种系统中,LKF 性能与 DFT 在每个结构上的能量(meV)和力(meV/˚A)进行对比(点越接近对角线,性能越好)。Etot的RMSE;测试集上的Eatom和F,每个子图的右下角处显示了体系的结构。

训练时间( VS ADAM)

proportion_time

根据epochs、iterations (权重更新)和wall-clock时间,LKF在能量和力方面达到精度基线与 Adam 的速度比,其中1000表示Adam无法达到基线。